|
|
1.
融合本体和改进禁忌搜索策略的气象灾害主题爬虫方法
刘景发, 顾瑶平, 刘文杰
计算机应用
2020, 40 (8):
2255-2261.
DOI: 10.11772/j.issn.1001-9081.2019122238
针对传统主题爬虫方法容易陷入局部最优和主题描述不足的问题，提出一种融合本体和改进禁忌搜索策略（On-ITS）的主题爬虫方法。首先利用本体语义相似度计算主题语义向量，基于超级文本标记语言（HTML）网页文本特征位置加权构建网页文本特征向量，然后采用向量空间模型计算网页的主题相关度。在此基础上，计算锚文本主题相关度以及链接指向网页的PR值，综合分析链接优先度。另外，为了避免爬虫陷入局部最优，设计了基于ITS的主题爬虫，优化爬行队列。以暴雨灾害和台风灾害为主题，在相同的实验环境下，基于On-ITS的主题爬虫方法比对比算法的爬准率最多高58%，最少高8%，其他评价指标也很好。基于On-ITS的主题爬虫方法能有效提高获取领域信息的准确性，抓取更多与主题相关的网页。
参考文献 |
相关文章 |
多维度评价
|
|
